Sau khi mở Giác quần thư xã, ông có soạn:

• Phan Tây Hồ di thảo (Bản thảo để lại của Phan Tây Hồ)
• Đông Tây vĩ nhân (Vĩ nhân Đông Tây)

Khi ở Côn Đảo, ông có soạn:

• Thái Nguyên thất thật quang phục ký (Ghi chép về 7 ngày giành lại Thái Nguyên).
• Thiên nhiên học hiệu ký (Ghi chép về trường học thiên nhiên)
• Sở am tập (Tập văn về những điều am tường)

Ngoài ra, ông Kế còn có một số bài báo và thơ. Trong số ấy, nổi bật có bài "Nền quốc văn" (đăng trên báo Hữu thanh, tháng 4 năm 1924) và "Luận về chánh học cùng tà thuyết[7]" (đăng trên báo Hữu thanh, tháng 9 năm 1924), ông đã kịch liệt chống lại chủ trương đề cao Truyện Kiều của Phạm Quỳnh. Vì theo ông, tác phẩm ấy đã làm cho các thanh niên "say đắm trong trời tình biển ái mà mềm nhũng cái lòng sắt đá, bỏ mất cái chí nguyện cao xa"...[8]